经过一段时间的减少,对单词一致性的兴趣再次增加,因为它们在类型学研究,跨语言注释投影和机器翻译等领域的有用性中再次增加。通常,对齐算法仅使用bitext,并且不利用许多平行语料库是多面关系的事实。在这里,我们通过考虑所有语言对,计算多种语言对之间的高质量单词对齐。首先,我们创建一个多平行单词对齐图,并将所有双语单词对齐对在一个图中。接下来,我们使用图形神经网络(GNN)来利用图形结构。我们的GNN方法(i)利用有关输入词的含义,位置和语言的信息,(ii)合并了来自多个并行句子的信息,(iii)添加并删除了初始对齐的边缘,并且(iv)产生了预测可以概括训练句子的模型。我们表明,社区检测为多平行单词对齐提供了有价值的信息。我们的方法在三个单词分配数据集和下游任务上的先前工作优于先前的工作。
translated by 谷歌翻译
Recent work reported the label alignment property in a supervised learning setting: the vector of all labels in the dataset is mostly in the span of the top few singular vectors of the data matrix. Inspired by this observation, we derive a regularization method for unsupervised domain adaptation. Instead of regularizing representation learning as done by popular domain adaptation methods, we regularize the classifier so that the target domain predictions can to some extent ``align" with the top singular vectors of the unsupervised data matrix from the target domain. In a linear regression setting, we theoretically justify the label alignment property and characterize the optimality of the solution of our regularization by bounding its distance to the optimal solution. We conduct experiments to show that our method can work well on the label shift problems, where classic domain adaptation methods are known to fail. We also report mild improvement over domain adaptation baselines on a set of commonly seen MNIST-USPS domain adaptation tasks and on cross-lingual sentiment analysis tasks.
translated by 谷歌翻译
健康监测应用程序越来越依赖机器学习技术来学习日常环境中的最终用户生理和行为模式。考虑到可穿戴设备在监视人体参数中的重要作用,可以利用在设备学习中为行为和生理模式构建个性化模型,并同时为用户提供数据隐私。但是,大多数这些可穿戴设备的资源限制都阻止了对它们进行在线学习的能力。为了解决这个问题,需要从算法的角度重新考虑机器学习模型,以适合在可穿戴设备上运行。高维计算(HDC)为资源受限设备提供了非常适合的设备学习解决方案,并为隐私保护个性化提供了支持。我们的基于HDC的方法具有灵活性,高效率,弹性和性能,同时可以实现设备个性化和隐私保护。我们使用三个案例研究评估方法的功效,并表明我们的系统将培训的能源效率提高了高达$ 45.8 \ times $,与最先进的深神经网络(DNN)算法相比准确性。
translated by 谷歌翻译
基因组学的主要目标是正确捕获基因调节网络(GRN)的复杂动力学行为。这包括推断基因之间的复杂相互作用,这些基因可用于广泛的基因组学分析,包括诊断或预后疾病以及为诸如癌症等慢性疾病的有效治疗方法。布尔网络已成为成功捕获GRN行为的成功类型。在大多数实用的环境中,应通过有限且时间稀疏的基因组数据来实现GRN的推论。 GRN中的大量基因会导致大量可能的拓扑候选空间,由于计算资源的限制,通常无法详尽地搜索。本文使用贝叶斯优化和基于内核的方法为GRN提供了可扩展有效的拓扑推断。所提出的方法不是对可能的拓扑结构进行详尽的搜索,而是构建具有拓扑启发的内核函数的高斯过程(GP),以说明可能性函数的相关性。然后,使用GP模型的后验分布,贝叶斯优化有效地搜索具有最高可能性值的拓扑,通过在勘探和剥削之间进行最佳平衡。通过使用众所周知的哺乳动物细胞周期网络的综合数值实验来证明所提出的方法的性能。
translated by 谷歌翻译
可靠性的关键问题是电路设计师的巨大关注之一。驱动力是晶体管老化,取决于操作电压和工作负载。在设计时,很难估算在终生期间保持衰老效果的近距离护罩。这是因为铸造厂不共享其基于物理的校准模型,该模型由高度机密的技术和材料参数组成。但是,对降解的不受监控但必要的高估相当于绩效下降,这是可以预防的。此外,这些基于物理学的模型在计算方面非常复杂。在设计时间为数百万个单个晶体管建模的成本显然是过高的。我们提出了经过培训的机器学习模型的革命前景,以复制基于物理的模型,以免披露机密参数。出于设计优化的目的,电路设计人员可以完全访问这种有效的解决方法。我们证明了模型通过对一个电路的数据进行训练并将其成功应用于基准电路的能力。平均相对误差高达1.7%,速度高达20倍。电路设计师有史以来首次可以易于使用高精度老化模型,这对于有效的设计至关重要。这项工作是跨越铸造厂和电路设计师之间宽阔鸿沟的方向的一个有希望的步骤。
translated by 谷歌翻译
强化学习(RL)为解决各种复杂的决策任务提供了新的机会。但是,现代的RL算法,例如,深Q学习是基于深层神经网络,在Edge设备上运行时的计算成本很高。在本文中,我们提出了QHD,一种高度增强的学习,它模仿了大脑特性,以实现健壮和实时学习。 QHD依靠轻巧的大脑启发模型来学习未知环境中的最佳政策。我们首先建立一个新颖的数学基础和编码模块,该模块将状态行动空间映射到高维空间中。因此,我们开发了一个高维回归模型,以近似Q值函数。 QHD驱动的代理通过比较每个可能动作的Q值来做出决定。我们评估了不同的RL培训批量和本地记忆能力对QHD学习质量的影响。我们的QHD也能够以微小的本地记忆能力在线学习,这与培训批量大小一样小。 QHD通过进一步降低记忆容量和批处理大小来提供实时学习。这使得QHD适用于在边缘环境中高效的增强学习,这对于支持在线和实时学习至关重要。我们的解决方案还支持少量的重播批量大小,与DQN相比,该批量的速度为12.3倍,同时确保质量损失最小。我们的评估显示了实时学习的QHD能力,比最先进的Deep RL算法提供了34.6倍的速度和更高的学习质量。
translated by 谷歌翻译
Scheduled batch jobs have been widely used on the asynchronous computing platforms to execute various enterprise applications, including the scheduled notifications and the candidate pre-computation for the modern recommender systems. It is important to deliver or update the information to the users at the right time to maintain the user experience and the execution impact. However, it is challenging to provide a versatile execution time optimization solution for the user-basis scheduled jobs to satisfy various product scenarios while maintaining reasonable infrastructure resource consumption. In this paper, we describe how we apply a learning-to-rank approach plus a "best time policy" in the best time selection. In addition, we propose an ensemble learner to minimize the ranking loss by efficiently leveraging multiple streams of user activity signals in our scheduling decisions of the execution time. Especially, we observe the cannibalization cross use cases to compete the user's peak time slot and introduce a coordination system to mitigate the problem. Our optimization approach has been successfully tested with production traffic that serves billions of users per day, with statistically significant improvements in various product metrics, including the notifications and content candidate generation. To the best of our knowledge, our study represents the first ML-based multi-tenant solution of the execution time optimization problem for the scheduled jobs at a large industrial scale cross different product domains.
translated by 谷歌翻译
机器学习技术通常应用于痴呆症预测缺乏其能力,共同学习多个任务,处理时间相关的异构数据和缺失值。在本文中,我们建议使用最近呈现的SShiba模型提出了一个框架,用于在缺失值的纵向数据上联合学习不同的任务。该方法使用贝叶斯变分推理来赋予缺失值并组合多个视图的信息。这样,我们可以将不同的数据视图与共同的潜在空间中的不同时间点相结合,并在同时建模和预测若干输出变量的同时学习每个时间点之间的关系。我们应用此模型以预测痴呆症中的诊断,心室体积和临床评分。结果表明,SSHIBA能够学习缺失值的良好归因,同时预测三个不同任务的同时表现出基线。
translated by 谷歌翻译
使用DataSet的真实标签培训而不是随机标签导致更快的优化和更好的泛化。这种差异归因于自然数据集中的输入和标签之间的对齐概念。我们发现,随机或真正标签上的具有不同架构和优化器的培训神经网络在隐藏的表示和训练标签之间强制执行相同的关系,阐明为什么神经网络表示为转移如此成功。我们首先突出显示为什么对齐的特征在经典的合成转移问题中促进转移和展示,即对齐是对相似和不同意任务的正负传输的确定因素。然后我们调查各种神经网络架构,并发现(a)在各种不同的架构和优化器中出现的对齐,并且从深度(b)对准产生的更多对准对于更接近输出的层和(c)现有的性能深度CNN表现出高级别的对准。
translated by 谷歌翻译
由于策略梯度定理导致的策略设置存在各种理论上 - 声音策略梯度算法,其为梯度提供了简化的形式。然而,由于存在多重目标和缺乏明确的脱助政策政策梯度定理,截止策略设置不太明确。在这项工作中,我们将这些目标统一到一个违规目标,并为此统一目标提供了政策梯度定理。推导涉及强调的权重和利息职能。我们显示多种策略来近似梯度,以识别权重(ACE)称为Actor评论家的算法。我们证明了以前(半梯度)脱离政策演员 - 评论家 - 特别是offpac和DPG - 收敛到错误的解决方案,而Ace找到最佳解决方案。我们还强调为什么这些半梯度方法仍然可以在实践中表现良好,表明ace中的方差策略。我们经验研究了两个经典控制环境的若干ACE变体和基于图像的环境,旨在说明每个梯度近似的权衡。我们发现,通过直接逼近强调权重,ACE在所有测试的所有设置中执行或优于offpac。
translated by 谷歌翻译